通常,深度神经网络(DNN)修剪方法分为两类:1)基于重量的确定性约束和2)概率框架。虽然每种方法都有其优点和局限性,但有一系列常见的实际问题,例如试验和错误,以分析灵敏度和超参数来修剪DNN,这困扰着它们。在这项工作中,我们提出了一种新的单次,使用自适应连接分数(SNACS)称为减少神经网络的新型自动化算法。我们所提出的方法将概率修剪框架与基础重量矩阵的约束相结合,通过新的连接测量,在多个层面下,以利用两种方法的强度,同时解决它们的缺陷。在\ alg {}中,我们提出了一种基于自适应条件互信息(ACMI)的快速哈希估计器,它使用基于权重的缩放标准来评估过滤器和Preune不重要的连接之间的连接。为了自动确定可以修剪层的限制,我们提出了一组操作约束,该操作约束共同定义了深网络中所有层的上部修剪百分比限制。最后,我们为尺寸为测量其对后面的层的强度的滤波器来定义一个新颖的敏感性标准,并突出需要完全保护的严重过滤器。通过我们的实验验证,我们表明SNACS超过17倍最接近的可比方法,并且是跨三个标准数据集-DNN修剪基准测试的最新的单次修剪方法:CIFAR10-VGG16,CIFAR10-RESET56和ILSVRC2012-RENET50。
translated by 谷歌翻译